КАНАЛИ ЗВ'ЯЗКУ
1. Класифікація і характеристики каналу зв'язку
Канал зв'язку - це сукупність засобів, призначених для передачі сигналів (повідомлень).
Для аналізу інформаційних процесів в каналі зв'язку можна використовувати його узагальнену схему, наведену на рис. 1.
На рис. 1 прийняті наступні позначення: X, Y, Z, W - сигнали, повідомлення; f - перешкода; ЛЗ - лінія зв'язку; ШІ, ПІ - джерело і приймач інформації; П - перетворювачі (кодування, модуляція, декодування, демодуляція).
Існують різні типи каналів, які можна класифікувати за різними ознаками:
1. За типом ліній зв'язку: дротяні; кабельні; оптико-волоконні;
лінії електропередачі; радіоканали і т.д.
2. За характером сигналів: безперервні; дискретні; дискретно-безперервні (сигнали на вході системи дискретні, а на виході безперервні, і навпаки).
3. За перешкодозахищеності: канали без перешкод; з перешкодами.
Канали зв'язку характеризуються:
1. Ємність каналу визначається як добуток часу використання каналу T к, ширини спектру частот, що пропускаються каналом F до і динамічного діапазону D к., який характеризує здатність каналу передавати різні рівні сигналів
V к = T до F до D к. (1)
Умова узгодження сигналу із каналом:
V c £ V k; T c £ T k; F c £ F k; V c £ V k; D c £ D k.
2. Швидкість передачі інформації - середня кількість інформації, що передається в одиницю часу.
3. Пропускна здатність каналу зв'язку - найбільша теоретично досяжна швидкість передачі інформації за умови, що похибка не перевершує заданої величини.
4. Надмірність - забезпечує достовірність переданої інформації (R = 0 ¸ 1).
Одним із завдань теорії інформації є визначення залежності швидкості передачі інформації та пропускної здатності каналу зв'язку від параметрів каналу і характеристик сигналів і перешкод.
Канал зв'язку образно можна порівнювати з дорогами. Вузькі дороги - мала пропускна здатність, але дешево. Широкі дороги - хороша пропускна здатність, але дорого. Пропускна здатність визначається самим «вузьким» місцем.
Швидкість передачі даних в значній мірі залежить від передавальної середовища в каналах зв'язку, в якості яких використовуються різні типи ліній зв'язку.
Дротові:
1. Дротові - вита пара (що частково пригнічує електромагнітне випромінювання інших джерел). Швидкість передачі до 1 Мбіт / с. Використовується в телефонних мережах і для передачі даних.
2. Коаксіальний кабель. Швидкість передачі 10-100 Мбіт / с - використовується в локальних мережах, кабельному телебаченні і т.д.
3. Оптико-волоконна. Швидкість передачі 1 Гбіт / с.
У середовищах 1-3 загасання в дБ лінійно залежить від відстані, тобто потужність падає по експоненті. Тому через певну відстань необхідно ставити регенератори (підсилювачі).
Радіолінії:
1. Радіоканал. Швидкість передачі 100-400 Кбіт / с. Використовує радіочастоти до 1000 МГц. До 30 МГц за рахунок відбиття від іоносфери можливе поширення електромагнітних хвиль за межі прямої видимості. Але цей діапазон сильно зашумлен (наприклад, аматорської радіозв'язком). Від 30 до 1000 МГц - іоносфера прозора і необхідна пряма видимість. Антени встановлюються на висоті (іноді встановлюються регенератори). Використовуються в радіо і телебаченні.
2. Мікрохвильові лінії. Швидкості передачі до 1 Гбіт / с. Використовують радіочастоти вище 1000 МГц. При цьому необхідна пряма видимість і гостронаправлених параболічні антени. Відстань між регенераторами 10-200 км. Використовуються для телефонного зв'язку, телебачення і передачі даних.
3. Супутниковий зв'язок. Використовуються мікрохвильові частоти, а супутник служить регенератором (причому для багатьох станцій). Характеристики ті ж, що у мікрохвильових ліній.
2. Пропускна здатність дискретного каналу зв'язку
Дискретний канал являє собою сукупність засобів, призначених для передачі дискретних сигналів [5].
Пропускна здатність каналу зв'язку - найбільша теоретично досяжна швидкість передачі інформації за умови, що похибка не перевершує заданої величини. Швидкість передачі інформації - середня кількість інформації, що передається в одиницю часу. Визначимо вирази для розрахунку швидкості передачі інформації та пропускної здатності дискретного каналу зв'язку.
При передачі кожного символу в середньому по каналу зв'язку проходить кількість інформації, що визначається за формулою
I (Y, X) = I (X, Y) = H (X) - H (X / Y) = H (Y) - H (Y / X), (2)
де: I (Y, X) - взаємна інформація, тобто кількість інформації, що міститься в Y відносно X; H (X) - ентропія джерела повідомлень; H (X / Y) - умовна ентропія, визначальна втрату інформації на один символ, пов'язану з наявністю перешкод і спотворень.
При передачі повідомлення X T тривалості T, що складається з n елементарних символів, середня кількість переданої інформації з урахуванням симетрії взаємного кількості інформації дорівнює:
I (Y T, X T) = H (X T) - H (X T / Y T) = H (Y T) - H (Y T / X T) = n [H (X) - H (X / Y), (3)
де T = n
Для символів рівної тривалості
При цьому швидкість передачі інформації
Швидкість передачі інформації залежить від статистичних властивостей джерела, методу кодування і властивостей каналу.
Пропускна здатність дискретного каналу зв'язку
Максимально-можливе значення, тобто максимум функціонала шукається на всій множині функцій розподілу ймовірності p (x).
Пропускна здатність залежить від технічних характеристик каналу (швидкодії апаратури, виду модуляції, рівня перешкод і спотворень і т.д.). Одиницями виміру пропускної здатності каналу є: [bit / s], [Kbit / s], [Mbit / s], [Gbit / s].
2.1 Дискретний канал зв'язку без перешкод
Якщо перешкоди в каналі зв'язку відсутні, то вхідні і вихідні сигнали каналу пов'язані однозначною, функціональною залежністю.
При цьому умовна ентропія дорівнює нулю, а безумовні ентропії джерела і приймача рівні, тобто середня кількість інформації в прийнятому символі щодо переданого одно
I (X, Y) = H (X) = H (Y); H (X / Y) = 0.
Якщо Х Т - кількість символів за час T, то швидкість передачі інформації для дискретного каналу зв'язку без перешкод дорівнює
де V = 1 /
Пропускна здатність для дискретного каналу зв'язку без перешкод
Оскільки максимальна ентропія відповідає для рівноймовірно символів, то пропускна здатність для рівномірного розподілу та статистичної незалежності переданих символів дорівнює:
Перша теорема Шеннона для каналу: Якщо потік інформації, що виробляється джерелом, досить близький до пропускної здатності каналу зв'язку, тобто
то завжди можна знайти такий спосіб кодування, який забезпечить передачу всіх повідомлень джерела, причому швидкість передачі інформації буде дуже близькій до пропускної здатності каналу.
Теорема не відповідає на питання, яким чином здійснювати кодування.
Приклад 1. Джерело виробляє 3 повідомлення з ймовірностями:
p 1 = 0,1; p 2 = 0,2 і p 3 = 0,7.
Повідомлення незалежні і передаються рівномірним двійковим кодом (m = 2) з тривалістю символів, що дорівнює 1 мс. Визначити швидкість передачі інформації по каналу зв'язку без перешкод.
Рішення: Ентропія джерела дорівнює
Для передачі 3 повідомлень рівномірним кодом необхідно два розряди, при цьому тривалість кодової комбінації дорівнює 2t.
Середня швидкість передачі сигналу
V = 1 / 2 t = 500 [1 / c].
Швидкість передачі інформації
C = vH = 500 × 1,16 = 580 [біт / с].
2.2 Дискретний канал зв'язку з перешкодами
Ми будемо розглядати дискретні канали зв'язку без пам'яті.
Каналом без пам'яті називається канал, в якому для кожного передається символ сигналу, перешкоди впливають, не залежно від того, які сигнали передавалися раніше. Тобто перешкоди не створюють додаткові корелятивні зв'язки між символами. Назва «без пам'яті» означає, що при черговій передачі канал як би не пам'ятає результатів попередніх передач.
При наявності перешкоди середня кількість інформації в прийнятому символі повідомленні - Y, щодо переданого - X одно:
Для символу повідомлення X T тривалості T, що складається з n елементарних символів середня кількість інформації в прийнятому символі сполученні - Y T щодо переданого - X T одно:
I (Y T, X T) = H (X T) - H (X T / Y T) = H (Y T) - H (Y T / X T) = n [H (Y) - H (Y / X). (9)
Для визначення втрат в дискретному каналі зв'язку використовується канальна матриця (матриця перехідних ймовірностей), що дозволяє визначити умовну ентропію характеризує втрату інформації на символ повідомлення.
Швидкість передачі інформації по дискретному каналу з перешкодами
дорівнює:
Пропускна здатність дискретного каналу при наявності перешкод дорівнює максимально допустимої швидкості передачі інформації, причому максимум розшукується за всіма відділами ймовірностей p (x) на X і, оскільки, ентропія максимальна для рівномірного розподілу (для рівноймовірно символів повідомлення), то вираз для пропускної здатності має вигляд :
Як видно з формули, наявність перешкод зменшує пропускну здатність каналу зв'язку.
Канальна матриця, що визначає втрати інформації в каналі зв'язку має вигляд:
Визначити:
1. Ентропію джерела інформації - H (X).
2. Безумовну ентропію приймача інформації - H (Y).
3. Загальну умовну ентропію - H (Y / X).
4. Швидкість передачі інформації, якщо час передачі одного символу первинного алфавіту t = 0,1 мс.
5. Визначити втрати інформації в каналі зв'язку при передачі 500 символів алфавіту.
6. Середня кількість прийнятої інформації.
7. Пропускну здатність каналу зв'язку.
Рішення:
1. Ентропія джерела повідомлень дорівнює
2. Ймовірності появи символів на вході приймача
Перевірка:
Ентропія приймача інформації дорівнює
3. Загальна умовна ентропія дорівнює
4. Швидкість передачі інформації дорівнює:
= (1,85-0,132) / 0,0001 = 17,18 Кбіт / с.
5. Втрати інформації в каналі зв'язку при передачі 500 символів алфавіту рівні:
6. Середня кількість прийнятої інформації дорівнює:
= 500 × (1,85-0,132) = 859 біт.
7. Пропускна здатність каналу зв'язку
2.3 Пропускна здатність бінарного, симетричного каналу
Бінарним дискретним каналом називається канал, по якому передається тільки два елементарних дискретних символу (тобто використовується двійковий код).
Симетричним дискретним каналом називається канал, в якому. імовірності не залежать від переданих символів, тобто ймовірності правильної передачі однакові (p (x 1) = p (x 2)) та ймовірності помилкової передачі однакові (p (y 1 / x 2) = p (y 2 / x 1)).
Розглянемо двійковий дискретний канал, по якому передаються дискретні символи «0» і «1» (m = 2). Якщо передані символи незалежні і різновірогідні (p (x 1) = p (x 2) = 1 / 2), то сигнал має максимальну ентропію (H max (X) = 1), при цьому p (1 / 0) = p (0 / 1).
Якщо P ош - Імовірність помилки то 1-Р ош - імовірність правильного прийому. Діаграма передачі двійкових сигналів по симетричному калу наведена на рис. 2.
p (y 1 / x 1) = 1-Р ош
x 1 не спотворений y 1
спотворений p (y 1 / x 2) = P ош
спотворений p (y 2 / x 1) = P ош
x 2 не спотворений y 2
p (y 2 / x 2) = 1-Р ош
Рис. 2. Діаграма перехідних ймовірностей симетричного каналу
Умовна ентропія для симетричного каналу дорівнює
Пропускна здатність для двійкового, симетричного каналу
Це рівняння Шеннона для симетричного двійкового каналу.
Наявність помилки призводить до зменшення пропускної здатності.
Так при p ош = 0,01 пропускна здатність дорівнює C = 0,9 / t = 0,9 C max.
Основна теорема Шеннона про кодування для дискретного каналу з перешкодами: Для дискретного каналу з перешкодами існує такий спосіб кодування, який дозволяє здійснювати безпомилкову передачу інформації, якщо продуктивність джерела нижче пропускної здатності
Приклад. Визначити швидкість передачі за допомогою бінарного, симетричного каналу зв'язку
Рішення:
Складемо таблицю ймовірностей:
p (x 0) = 0,5; p (y 0 / x 0) = 0,96;
p (x 1) = 0,5; p (y 1 / x 0) = 0,04;
p (y 0) = 0,5; p (y 0 / x 1) = 0,04;
p (y 1) = 0,5; p (y 1 / x 1) = 0,96.
Пропускна здатність для двійкового, симетричного каналу
3. Пропускна здатність безперервного каналу зв'язку
Безперервний канал передачі інформації містить сукупність засобів для передачі безперервних сигналів, при цьому замість кодують і декодер використовуються різного роду перетворювачі (модуляція і т.д.). Вхідні і вихідні сигнали в безперервному каналі зв'язку представляють ансамблі безперервних функцій з відповідними плотностями розподілів імовірності.
Якщо на вхід безперервного каналу зв'язку надходить безперервний сигнал X (t) тривалістю T, то внаслідок впливу перешкод f (t) вихідний сигнал Y (t) буде відрізнятися від вхідного. При цьому кількість інформації в сигналі Y (t) про сигнал X (t) дорівнює:
Безперервний сигнал, можна розглядати як дискретний при
Крок квантування D t = T / n, де n - число точок відліку. Відповідно до теореми Котельникова D t = 1 / 2 f c, де f c - Частота зрізу а n = 2 Tf c - база сигналу.
При цьому у виразі (13) для взаємної інформації замість різниці ентропії можна записати різниці відповідних диференціальних ентропій окремих відліків
Пропускна здатність безперервного каналу зв'язку
Для дискретного каналу зв'язку максимальне значення швидкості передачі відповідає різновірогідні символів алфавіту. Для безперервного каналу зв'язку, коли заданої є середня потужність сигналу, максимальна швидкість забезпечується при використанні нормальних центрованих випадкових сигналу.
Якщо сигнал центрований (m x = 0) тобто без постійної складової при цьому потужність спокою дорівнює нулю (P 0 = 0). Умова центрированности забезпечує максимум дисперсії при заданій середньої потужності сигналу
Якщо сигнал має нормальний розподіл, то апріорна диференційна ентропія кожного відліку максимальна.
Тому при розрахунку пропускної здатності безперервного каналу вважаємо, що по каналу передається безперервний сигнал з обмеженою середньою потужністю - P c і адитивна перешкода (y = x + f) також з обмеженою середньою потужністю - P n типу білого (гауссова) шуму.
1. Класифікація і характеристики каналу зв'язку
Канал зв'язку - це сукупність засобів, призначених для передачі сигналів (повідомлень).
Для аналізу інформаційних процесів в каналі зв'язку можна використовувати його узагальнену схему, наведену на рис. 1.
f Z X Y W Рис. 1. Узагальнена схема каналу зв'язку |
ШІ |
ЛЗ |
П |
ПІ |
П |
На рис. 1 прийняті наступні позначення: X, Y, Z, W - сигнали, повідомлення; f - перешкода; ЛЗ - лінія зв'язку; ШІ, ПІ - джерело і приймач інформації; П - перетворювачі (кодування, модуляція, декодування, демодуляція).
Існують різні типи каналів, які можна класифікувати за різними ознаками:
1. За типом ліній зв'язку: дротяні; кабельні; оптико-волоконні;
лінії електропередачі; радіоканали і т.д.
2. За характером сигналів: безперервні; дискретні; дискретно-безперервні (сигнали на вході системи дискретні, а на виході безперервні, і навпаки).
3. За перешкодозахищеності: канали без перешкод; з перешкодами.
Канали зв'язку характеризуються:
1. Ємність каналу визначається як добуток часу використання каналу T к, ширини спектру частот, що пропускаються каналом F до і динамічного діапазону D к., який характеризує здатність каналу передавати різні рівні сигналів
V к = T до F до D к. (1)
Умова узгодження сигналу із каналом:
V c £ V k; T c £ T k; F c £ F k; V c £ V k; D c £ D k.
2. Швидкість передачі інформації - середня кількість інформації, що передається в одиницю часу.
3. Пропускна здатність каналу зв'язку - найбільша теоретично досяжна швидкість передачі інформації за умови, що похибка не перевершує заданої величини.
4. Надмірність - забезпечує достовірність переданої інформації (R = 0 ¸ 1).
Одним із завдань теорії інформації є визначення залежності швидкості передачі інформації та пропускної здатності каналу зв'язку від параметрів каналу і характеристик сигналів і перешкод.
Канал зв'язку образно можна порівнювати з дорогами. Вузькі дороги - мала пропускна здатність, але дешево. Широкі дороги - хороша пропускна здатність, але дорого. Пропускна здатність визначається самим «вузьким» місцем.
Швидкість передачі даних в значній мірі залежить від передавальної середовища в каналах зв'язку, в якості яких використовуються різні типи ліній зв'язку.
Дротові:
1. Дротові - вита пара (що частково пригнічує електромагнітне випромінювання інших джерел). Швидкість передачі до 1 Мбіт / с. Використовується в телефонних мережах і для передачі даних.
2. Коаксіальний кабель. Швидкість передачі 10-100 Мбіт / с - використовується в локальних мережах, кабельному телебаченні і т.д.
3. Оптико-волоконна. Швидкість передачі 1 Гбіт / с.
У середовищах 1-3 загасання в дБ лінійно залежить від відстані, тобто потужність падає по експоненті. Тому через певну відстань необхідно ставити регенератори (підсилювачі).
Радіолінії:
1. Радіоканал. Швидкість передачі 100-400 Кбіт / с. Використовує радіочастоти до 1000 МГц. До 30 МГц за рахунок відбиття від іоносфери можливе поширення електромагнітних хвиль за межі прямої видимості. Але цей діапазон сильно зашумлен (наприклад, аматорської радіозв'язком). Від 30 до 1000 МГц - іоносфера прозора і необхідна пряма видимість. Антени встановлюються на висоті (іноді встановлюються регенератори). Використовуються в радіо і телебаченні.
2. Мікрохвильові лінії. Швидкості передачі до 1 Гбіт / с. Використовують радіочастоти вище 1000 МГц. При цьому необхідна пряма видимість і гостронаправлених параболічні антени. Відстань між регенераторами 10-200 км. Використовуються для телефонного зв'язку, телебачення і передачі даних.
3. Супутниковий зв'язок. Використовуються мікрохвильові частоти, а супутник служить регенератором (причому для багатьох станцій). Характеристики ті ж, що у мікрохвильових ліній.
2. Пропускна здатність дискретного каналу зв'язку
Дискретний канал являє собою сукупність засобів, призначених для передачі дискретних сигналів [5].
Пропускна здатність каналу зв'язку - найбільша теоретично досяжна швидкість передачі інформації за умови, що похибка не перевершує заданої величини. Швидкість передачі інформації - середня кількість інформації, що передається в одиницю часу. Визначимо вирази для розрахунку швидкості передачі інформації та пропускної здатності дискретного каналу зв'язку.
При передачі кожного символу в середньому по каналу зв'язку проходить кількість інформації, що визначається за формулою
I (Y, X) = I (X, Y) = H (X) - H (X / Y) = H (Y) - H (Y / X), (2)
де: I (Y, X) - взаємна інформація, тобто кількість інформації, що міститься в Y відносно X; H (X) - ентропія джерела повідомлень; H (X / Y) - умовна ентропія, визначальна втрату інформації на один символ, пов'язану з наявністю перешкод і спотворень.
При передачі повідомлення X T тривалості T, що складається з n елементарних символів, середня кількість переданої інформації з урахуванням симетрії взаємного кількості інформації дорівнює:
I (Y T, X T) = H (X T) - H (X T / Y T) = H (Y T) - H (Y T / X T) = n [H (X) - H (X / Y), (3)
де T = n
Для символів рівної тривалості
При цьому швидкість передачі інформації
Швидкість передачі інформації залежить від статистичних властивостей джерела, методу кодування і властивостей каналу.
Пропускна здатність дискретного каналу зв'язку
Максимально-можливе значення, тобто максимум функціонала шукається на всій множині функцій розподілу ймовірності p (x).
Пропускна здатність залежить від технічних характеристик каналу (швидкодії апаратури, виду модуляції, рівня перешкод і спотворень і т.д.). Одиницями виміру пропускної здатності каналу є: [bit / s], [Kbit / s], [Mbit / s], [Gbit / s].
2.1 Дискретний канал зв'язку без перешкод
Якщо перешкоди в каналі зв'язку відсутні, то вхідні і вихідні сигнали каналу пов'язані однозначною, функціональною залежністю.
При цьому умовна ентропія дорівнює нулю, а безумовні ентропії джерела і приймача рівні, тобто середня кількість інформації в прийнятому символі щодо переданого одно
I (X, Y) = H (X) = H (Y); H (X / Y) = 0.
Якщо Х Т - кількість символів за час T, то швидкість передачі інформації для дискретного каналу зв'язку без перешкод дорівнює
де V = 1 /
Пропускна здатність для дискретного каналу зв'язку без перешкод
Оскільки максимальна ентропія відповідає для рівноймовірно символів, то пропускна здатність для рівномірного розподілу та статистичної незалежності переданих символів дорівнює:
Перша теорема Шеннона для каналу: Якщо потік інформації, що виробляється джерелом, досить близький до пропускної здатності каналу зв'язку, тобто
то завжди можна знайти такий спосіб кодування, який забезпечить передачу всіх повідомлень джерела, причому швидкість передачі інформації буде дуже близькій до пропускної здатності каналу.
Теорема не відповідає на питання, яким чином здійснювати кодування.
Приклад 1. Джерело виробляє 3 повідомлення з ймовірностями:
p 1 = 0,1; p 2 = 0,2 і p 3 = 0,7.
Повідомлення незалежні і передаються рівномірним двійковим кодом (m = 2) з тривалістю символів, що дорівнює 1 мс. Визначити швидкість передачі інформації по каналу зв'язку без перешкод.
Рішення: Ентропія джерела дорівнює
Для передачі 3 повідомлень рівномірним кодом необхідно два розряди, при цьому тривалість кодової комбінації дорівнює 2t.
Середня швидкість передачі сигналу
V = 1 / 2 t = 500 [1 / c].
Швидкість передачі інформації
C = vH = 500 × 1,16 = 580 [біт / с].
2.2 Дискретний канал зв'язку з перешкодами
Ми будемо розглядати дискретні канали зв'язку без пам'яті.
Каналом без пам'яті називається канал, в якому для кожного передається символ сигналу, перешкоди впливають, не залежно від того, які сигнали передавалися раніше. Тобто перешкоди не створюють додаткові корелятивні зв'язки між символами. Назва «без пам'яті» означає, що при черговій передачі канал як би не пам'ятає результатів попередніх передач.
При наявності перешкоди середня кількість інформації в прийнятому символі повідомленні - Y, щодо переданого - X одно:
Для символу повідомлення X T тривалості T, що складається з n елементарних символів середня кількість інформації в прийнятому символі сполученні - Y T щодо переданого - X T одно:
I (Y T, X T) = H (X T) - H (X T / Y T) = H (Y T) - H (Y T / X T) = n [H (Y) - H (Y / X). (9)
Для визначення втрат в дискретному каналі зв'язку використовується канальна матриця (матриця перехідних ймовірностей), що дозволяє визначити умовну ентропію характеризує втрату інформації на символ повідомлення.
Швидкість передачі інформації по дискретному каналу з перешкодами
дорівнює:
Пропускна здатність дискретного каналу при наявності перешкод дорівнює максимально допустимої швидкості передачі інформації, причому максимум розшукується за всіма відділами ймовірностей p (x) на X і, оскільки, ентропія максимальна для рівномірного розподілу (для рівноймовірно символів повідомлення), то вираз для пропускної здатності має вигляд :
Як видно з формули, наявність перешкод зменшує пропускну здатність каналу зв'язку.
Приклад. По каналу зв'язку передаються повідомлення, ймовірності яких відповідно рівні:
p (x 1) = 0,1; p (x 2) = 0,2; p (x 3) = 0,3; p (x 4) = 0,4.Канальна матриця, що визначає втрати інформації в каналі зв'язку має вигляд:
Визначити:
1. Ентропію джерела інформації - H (X).
2. Безумовну ентропію приймача інформації - H (Y).
3. Загальну умовну ентропію - H (Y / X).
4. Швидкість передачі інформації, якщо час передачі одного символу первинного алфавіту t = 0,1 мс.
5. Визначити втрати інформації в каналі зв'язку при передачі 500 символів алфавіту.
6. Середня кількість прийнятої інформації.
7. Пропускну здатність каналу зв'язку.
Рішення:
1. Ентропія джерела повідомлень дорівнює
2. Ймовірності появи символів на вході приймача
Перевірка:
Ентропія приймача інформації дорівнює
3. Загальна умовна ентропія дорівнює
4. Швидкість передачі інформації дорівнює:
= (1,85-0,132) / 0,0001 = 17,18 Кбіт / с.
5. Втрати інформації в каналі зв'язку при передачі 500 символів алфавіту рівні:
6. Середня кількість прийнятої інформації дорівнює:
= 500 × (1,85-0,132) = 859 біт.
7. Пропускна здатність каналу зв'язку
2.3 Пропускна здатність бінарного, симетричного каналу
Бінарним дискретним каналом називається канал, по якому передається тільки два елементарних дискретних символу (тобто використовується двійковий код).
Симетричним дискретним каналом називається канал, в якому. імовірності не залежать від переданих символів, тобто ймовірності правильної передачі однакові (p (x 1) = p (x 2)) та ймовірності помилкової передачі однакові (p (y 1 / x 2) = p (y 2 / x 1)).
Розглянемо двійковий дискретний канал, по якому передаються дискретні символи «0» і «1» (m = 2). Якщо передані символи незалежні і різновірогідні (p (x 1) = p (x 2) = 1 / 2), то сигнал має максимальну ентропію (H max (X) = 1), при цьому p (1 / 0) = p (0 / 1).
Якщо P ош - Імовірність помилки то 1-Р ош - імовірність правильного прийому. Діаграма передачі двійкових сигналів по симетричному калу наведена на рис. 2.
p (y 1 / x 1) = 1-Р ош
x 1 не спотворений y 1
спотворений p (y 1 / x 2) = P ош
спотворений p (y 2 / x 1) = P ош
x 2 не спотворений y 2
p (y 2 / x 2) = 1-Р ош
Рис. 2. Діаграма перехідних ймовірностей симетричного каналу
Умовна ентропія для симетричного каналу дорівнює
Пропускна здатність для двійкового, симетричного каналу
Це рівняння Шеннона для симетричного двійкового каналу.
Наявність помилки призводить до зменшення пропускної здатності.
Так при p ош = 0,01 пропускна здатність дорівнює C = 0,9 / t = 0,9 C max.
Основна теорема Шеннона про кодування для дискретного каналу з перешкодами: Для дискретного каналу з перешкодами існує такий спосіб кодування, який дозволяє здійснювати безпомилкову передачу інформації, якщо продуктивність джерела нижче пропускної здатності
Приклад. Визначити швидкість передачі за допомогою бінарного, симетричного каналу зв'язку 
Рішення: Складемо таблицю ймовірностей:
p (x 0) = 0,5; p (y 0 / x 0) = 0,96;
p (x 1) = 0,5; p (y 1 / x 0) = 0,04;
p (y 0) = 0,5; p (y 0 / x 1) = 0,04;
p (y 1) = 0,5; p (y 1 / x 1) = 0,96.
Пропускна здатність для двійкового, симетричного каналу
3. Пропускна здатність безперервного каналу зв'язку
Безперервний канал передачі інформації містить сукупність засобів для передачі безперервних сигналів, при цьому замість кодують і декодер використовуються різного роду перетворювачі (модуляція і т.д.). Вхідні і вихідні сигнали в безперервному каналі зв'язку представляють ансамблі безперервних функцій з відповідними плотностями розподілів імовірності.
Якщо на вхід безперервного каналу зв'язку надходить безперервний сигнал X (t) тривалістю T, то внаслідок впливу перешкод f (t) вихідний сигнал Y (t) буде відрізнятися від вхідного. При цьому кількість інформації в сигналі Y (t) про сигнал X (t) дорівнює:
Безперервний сигнал, можна розглядати як дискретний при
Крок квантування D t = T / n, де n - число точок відліку. Відповідно до теореми Котельникова D t = 1 / 2 f c, де f c - Частота зрізу а n = 2 Tf c - база сигналу.
При цьому у виразі (13) для взаємної інформації замість різниці ентропії можна записати різниці відповідних диференціальних ентропій окремих відліків
Пропускна здатність безперервного каналу зв'язку
Для дискретного каналу зв'язку максимальне значення швидкості передачі відповідає різновірогідні символів алфавіту. Для безперервного каналу зв'язку, коли заданої є середня потужність сигналу, максимальна швидкість забезпечується при використанні нормальних центрованих випадкових сигналу.
Якщо сигнал центрований (m x = 0) тобто без постійної складової при цьому потужність спокою дорівнює нулю (P 0 = 0). Умова центрированности забезпечує максимум дисперсії при заданій середньої потужності сигналу
Якщо сигнал має нормальний розподіл, то апріорна диференційна ентропія кожного відліку максимальна.
Тому при розрахунку пропускної здатності безперервного каналу вважаємо, що по каналу передається безперервний сигнал з обмеженою середньою потужністю - P c і адитивна перешкода (y = x + f) також з обмеженою середньою потужністю - P n типу білого (гауссова) шуму.
Так як перешкода аддитивна, то дисперсія вихідного сигналу дорівнює
Для того, щоб ентропія була максимальна для сигналу з обмеженою потужністю, він повинен бути гауссових, при цьому
Для того щоб перешкода була максимальна, вона теж повинна бути гауссова
При цьому пропускна здатність безперервного каналу повинна дорівнювати пропускній здатності сигналу
Таким чином, швидкість передачі інформації з обмеженою середньою потужністю максимальна, якщо і сигнал, і перешкода є гауссовими, випадковими процесами.
Пропускну здатність каналу можна змінювати, змінюючи ширину спектру сигналу - f c його потужність - P c. Але збільшення ширини спектра збільшує потужність завади - P n, тому співвідношення між смугою пропускання каналу і рівнем перешкод вибирається компромісним шляхом.
Якщо розподіл f (x) джерела безперервних повідомлень відрізняється від нормального, то швидкість передачі інформації - С буде менше. Використовуючи, функціональний перетворювач, можна отримувати сигнал з нормальним законом розподілу.
Зазвичай p c / p п>> 1, при цьому пропускна здатність безперервного каналу дорівнює З п = F до D к. Зв'язок між ємністю і пропускною спроможністю каналу зв'язку має вигляд V к = T до F до D к = T до С п.
Теорема Шеннона для безперервного каналу з шумом. Якщо ентропія джерела безперервних повідомлень як завгодно близька до пропускної здатності каналу, то існує метод передачі, при якому всі повідомлення джерела будуть передані з як завгодно високою вірністю відтворення.
Приклад. За безперервному каналу зв'язку, що має смугу пропускання F k = 1 кГц, передається корисний сигнал X (t), що представляє собою стандартний випадковий процес з нульовим математичним очікуванням і дисперсією
Визначити:
- Диференціальну ентропію вхідного сигналу;
- Диференціальну ентропію вихідного сигналу;
- Умовну диференціальну ентропію;
- Кількість інформації в одному безперервному відліку процесу Y (t) щодо відліку X (t);
- Швидкість передачі інформації по безперервному каналу з дискретним часом;
- Пропускну здатність безперервного каналу зв'язку;
- Визначити ємність каналу зв'язку, якщо час його роботи T = 10 м;
- Визначити кількість інформації, яке може бути передано за 10 хвилин роботи каналу;
- Показати, що інформаційна ємність безперервного каналу без пам'яті з адитивним гауссових шумом при обмеженні на пікову потужність не більше інформаційної ємності такого ж каналу при тій же величині обмеження на середню потужність.
Рішення:
Диференціальна ентропія вхідного сигналу
Диференціальна ентропія вихідного сигналу
Умовна диференційна ентропія
Кількість інформації в одному безперервному відліку процесу Y (t) щодо відліку X (t) визначається за формулою
I (X, Y) = h (x) - h (X / y) = h (y) - h (Y / x) = 3,21-2,05 = 1,16 біт / відлік.
Швидкість передачі інформації по безперервному каналу з дискретним часом визначається за формулою
= 2 × 10 3 × [3,21-2,05] = 2320 біт / с
Пропускна здатність безперервного каналу з перешкодами визначається за формулою
= 2322 біт / с.
Доведемо, що інформаційна ємність безперервного каналу без пам'яті з адитивним гауссових шумом при обмеженні на пікову потужність не більше інформаційної ємності такого ж каналу при тій же величині обмеження на середню потужність.
Математичне сподівання для симетричного рівномірного розподілу
Середній квадрат для симетричного рівномірного розподілу
Дисперсія для симетричного рівномірного розподілу
При цьому, для рівномірно-розподіленого процесу
Диференціальна ентропія сигналу з рівномірним розподілом
Різниця диференціальних ентропій нормального і рівномірно розподіленого процесу не залежить від величини дисперсії
Таким чином, пропускна здатність і ємність каналу зв'язку для процесу з нормальним розподілом вище, ніж для рівномірного.
Визначимо ємність (обсяг) каналу зв'язку
V k = T k C k = 10 × 60 × 2 322 = 1,3932 Мбіт.
Визначимо кількість інформації, яке може бути передано за 10 хвилин роботи каналу
Канальна матриця має вигляд:
Обчислити:
1. Ентропію джерела інформації H (X) і приймача H (Y).
2. Загальну і умовну ентропію H (Y / X).
3. Втрати інформації в каналі при передачі до символів (к = 100).
4. Кількість прийнятої інформації при передачі до символів.
5. Швидкість передачі інформації, якщо час передачі одного символу t = 0,01 мс.
2. По каналу зв'язку передаються символи алфавіту x 1, x 2, x 3 і x 4 з ймовірностями
3. Визначити втрати інформації в каналі зв'язку при передачі рівноймовірно символів алфавіту, якщо канальна матриця має вигляд
Визначити швидкість передачі інформації, якщо час передачі одного символу t = 0,001 сек.
4. Визначити втрати інформації при передачі 1000 символів алфавіту джерела x 1, x 2 і x 3 з ймовірностями p
5. Визначити кількість прийнятої інформації при передачі 600 символів, якщо ймовірності появи символів на виході джерела X рівні:
6. У канал зв'язку передаються повідомлення, що складаються із символів алфавіту
Канал зв'язку описаний наступної канальної матрицею:
Визначити швидкість передачі інформації, якщо час передачі одного символу
7. По каналу зв'язку передаються сигнали x 1, x 2 і x 3 з ймовірностями p
Визначити загальну умовну ентропію і частку втрат інформації, яка припадає на сигнал x 1 (приватну умовну ентропію).
8. По каналу зв'язку передаються символи алфавіту x 1, x 2, x 3 і x 4 з ймовірностями
Перешкоди в каналі задані канальної матрицею
Визначити пропускну здатність каналу зв'язку, якщо час передачі одного символу t = 0,01 сек.
Визначити кількість прийнятої інформації при передачі 500 символів, якщо ймовірності появи символів на вході приймача Y рівні:
Список літератури
1 Грінченка А.Г. Теорія інформації та кодування: Навч. посібник. - Харків: ХПУ, 2000.
2 Купріянов М.С., Матюшкін Б.Д. - Цифрова обробка сигналів: процесори, алгоритми, засоби проектування. - СПб: Політехніка, 1999.
3 Хеммінг Р.В. Цифрові фільтри: Пер. з англ. / Под ред. А.М. Трахтман. - М.: Сов. радіо, 1980.
4 Сиберт р.м. Ланцюги, сигнали, системи: У 2-х ч. / Пер. з англ. - М.: Мир, 1988.
5 Скляр Б. Цифрова зв'язок. Теоретичні основи та практичне застосування: Пер. з англ. - М.: Видавничий дім «Вільямс», 2003. - 1104 с.
6 Kalinin, VI Microwave & Telecommunication Technology, 2007. CriMiCo 2007. 17th International Crimean ConferenceVolume, Issue, 10-14 Sept. 2007 Page (s): 233 - 234
7 Феєр К. Бездротова цифрова зв'язок. Методи модуляції та розширення спектру. Пер. з англ. - М.: Радіо і зв'язок, 2000.
8 Ігнатов В.А. Теорія інформації та передачі сигналів: Підручник для вузів. - 2-е вид., Перераб. і доп. - М.: Радіо і зв'язок, 1991;
Для того, щоб ентропія була максимальна для сигналу з обмеженою потужністю, він повинен бути гауссових, при цьому
Для того щоб перешкода була максимальна, вона теж повинна бути гауссова
При цьому пропускна здатність безперервного каналу повинна дорівнювати пропускній здатності сигналу
Таким чином, швидкість передачі інформації з обмеженою середньою потужністю максимальна, якщо і сигнал, і перешкода є гауссовими, випадковими процесами.
Пропускну здатність каналу можна змінювати, змінюючи ширину спектру сигналу - f c його потужність - P c. Але збільшення ширини спектра збільшує потужність завади - P n, тому співвідношення між смугою пропускання каналу і рівнем перешкод вибирається компромісним шляхом.
Якщо розподіл f (x) джерела безперервних повідомлень відрізняється від нормального, то швидкість передачі інформації - С буде менше. Використовуючи, функціональний перетворювач, можна отримувати сигнал з нормальним законом розподілу.
Зазвичай p c / p п>> 1, при цьому пропускна здатність безперервного каналу дорівнює З п = F до D к. Зв'язок між ємністю і пропускною спроможністю каналу зв'язку має вигляд V к = T до F до D к = T до С п.
Теорема Шеннона для безперервного каналу з шумом. Якщо ентропія джерела безперервних повідомлень як завгодно близька до пропускної здатності каналу, то існує метод передачі, при якому всі повідомлення джерела будуть передані з як завгодно високою вірністю відтворення.
Приклад. За безперервному каналу зв'язку, що має смугу пропускання F k = 1 кГц, передається корисний сигнал X (t), що представляє собою стандартний випадковий процес з нульовим математичним очікуванням і дисперсією
Визначити:
- Диференціальну ентропію вхідного сигналу;
- Диференціальну ентропію вихідного сигналу;
- Умовну диференціальну ентропію;
- Кількість інформації в одному безперервному відліку процесу Y (t) щодо відліку X (t);
- Швидкість передачі інформації по безперервному каналу з дискретним часом;
- Пропускну здатність безперервного каналу зв'язку;
- Визначити ємність каналу зв'язку, якщо час його роботи T = 10 м;
- Визначити кількість інформації, яке може бути передано за 10 хвилин роботи каналу;
- Показати, що інформаційна ємність безперервного каналу без пам'яті з адитивним гауссових шумом при обмеженні на пікову потужність не більше інформаційної ємності такого ж каналу при тій же величині обмеження на середню потужність.
Рішення:
Диференціальна ентропія вхідного сигналу
Диференціальна ентропія вихідного сигналу
Умовна диференційна ентропія
Кількість інформації в одному безперервному відліку процесу Y (t) щодо відліку X (t) визначається за формулою
I (X, Y) = h (x) - h (X / y) = h (y) - h (Y / x) = 3,21-2,05 = 1,16 біт / відлік.
Швидкість передачі інформації по безперервному каналу з дискретним часом визначається за формулою
= 2 × 10 3 × [3,21-2,05] = 2320 біт / с
Пропускна здатність безперервного каналу з перешкодами визначається за формулою
= 2322 біт / с.
Доведемо, що інформаційна ємність безперервного каналу без пам'яті з адитивним гауссових шумом при обмеженні на пікову потужність не більше інформаційної ємності такого ж каналу при тій же величині обмеження на середню потужність.
Математичне сподівання для симетричного рівномірного розподілу
Середній квадрат для симетричного рівномірного розподілу
Дисперсія для симетричного рівномірного розподілу
При цьому, для рівномірно-розподіленого процесу
Диференціальна ентропія сигналу з рівномірним розподілом
Різниця диференціальних ентропій нормального і рівномірно розподіленого процесу не залежить від величини дисперсії
Таким чином, пропускна здатність і ємність каналу зв'язку для процесу з нормальним розподілом вище, ніж для рівномірного.
Визначимо ємність (обсяг) каналу зв'язку
V k = T k C k = 10 × 60 × 2 322 = 1,3932 Мбіт.
Визначимо кількість інформації, яке може бути передано за 10 хвилин роботи каналу
Завдання
1. У канал зв'язку передаються повідомлення, складені з алфавіту x 1, x 2 і x 3 з ймовірностями p (x 1) = 0,2; p (x 2) = 0,3 і p (x 3) = 0,5.Канальна матриця має вигляд:
Обчислити:
1. Ентропію джерела інформації H (X) і приймача H (Y).
2. Загальну і умовну ентропію H (Y / X).
3. Втрати інформації в каналі при передачі до символів (к = 100).
4. Кількість прийнятої інформації при передачі до символів.
5. Швидкість передачі інформації, якщо час передачі одного символу t = 0,01 мс.
2. По каналу зв'язку передаються символи алфавіту x 1, x 2, x 3 і x 4 з ймовірностями
3. Визначити втрати інформації в каналі зв'язку при передачі рівноймовірно символів алфавіту, якщо канальна матриця має вигляд
Визначити швидкість передачі інформації, якщо час передачі одного символу t = 0,001 сек.
4. Визначити втрати інформації при передачі 1000 символів алфавіту джерела x 1, x 2 і x 3 з ймовірностями p
5. Визначити кількість прийнятої інформації при передачі 600 символів, якщо ймовірності появи символів на виході джерела X рівні:
6. У канал зв'язку передаються повідомлення, що складаються із символів алфавіту
Канал зв'язку описаний наступної канальної матрицею:
Визначити швидкість передачі інформації, якщо час передачі одного символу
7. По каналу зв'язку передаються сигнали x 1, x 2 і x 3 з ймовірностями p
Визначити загальну умовну ентропію і частку втрат інформації, яка припадає на сигнал x 1 (приватну умовну ентропію).
8. По каналу зв'язку передаються символи алфавіту x 1, x 2, x 3 і x 4 з ймовірностями
Перешкоди в каналі задані канальної матрицею
Визначити пропускну здатність каналу зв'язку, якщо час передачі одного символу t = 0,01 сек.
Визначити кількість прийнятої інформації при передачі 500 символів, якщо ймовірності появи символів на вході приймача Y рівні:
Список літератури
1 Грінченка А.Г. Теорія інформації та кодування: Навч. посібник. - Харків: ХПУ, 2000.
2 Купріянов М.С., Матюшкін Б.Д. - Цифрова обробка сигналів: процесори, алгоритми, засоби проектування. - СПб: Політехніка, 1999.
3 Хеммінг Р.В. Цифрові фільтри: Пер. з англ. / Под ред. А.М. Трахтман. - М.: Сов. радіо, 1980.
4 Сиберт р.м. Ланцюги, сигнали, системи: У 2-х ч. / Пер. з англ. - М.: Мир, 1988.
5 Скляр Б. Цифрова зв'язок. Теоретичні основи та практичне застосування: Пер. з англ. - М.: Видавничий дім «Вільямс», 2003. - 1104 с.
6 Kalinin, VI Microwave & Telecommunication Technology, 2007. CriMiCo 2007. 17th International Crimean ConferenceVolume, Issue, 10-14 Sept. 2007 Page (s): 233 - 234
7 Феєр К. Бездротова цифрова зв'язок. Методи модуляції та розширення спектру. Пер. з англ. - М.: Радіо і зв'язок, 2000.
8 Ігнатов В.А. Теорія інформації та передачі сигналів: Підручник для вузів. - 2-е вид., Перераб. і доп. - М.: Радіо і зв'язок, 1991;